Het kasteel van Annevoie is een van de mooiste voorbeelden van de residentiële kastelen van de Maasvallei. Van op de oever van de Rouillon, een zijrivier van de Maas, torent het kasteel van Annevoie uit boven de Maasvallei. Deze plaats werd duidelijk gekozen omwille van de rust en de schilderachtige pracht van de omgeving.
De geschiedenis van het kasteel van Annevoie schetsen, is tevens de historie vertellen van de familie de Montpellier. Het allereerste begin van Annevoie ligt in 1627. In dat jaar liet de familie de Halloy een kasteeltje oprichten op de heuvel van Annevoie. Het was een bescheiden slot, in het grijze steen van de streek. In 1680 liet Cathérine de Halloy het kasteeltje over aan haar nicht Marie de Halloy die het, zestien jaar later, vermaakte aan haar man Jean de Montpellier.
In 1758 ontwierp Charles-Alexis de Montpellier, de kleinzoon van de al vermelde Jean, de zo beroemde tuinen, die wijd en zijd tot ver over onze grenzen bekend zijn. Aan de architect Phazelle vertrouwde hij de bouw van het huidige kasteel toe. Het oude slot werd erin op een merkwaardige manier geïntegreerd.